Anthropic оповестила мир о сценарии развития искусственных интеллектов, при котором ИИ смогут самостоятельно создавать улучшенные версии самих себя.
Это возможно, же к концу 2028 года, а может и даже раньше, когда могут появиться нейросети, способные автономно переписывать собственный код, устранять слабые места и ускорять дальнейшее развитие. Такое «рекурсивное самосовершенствование» ИИ может привести к так называемому "интеллектуальный взрывной прогресс" или той самой "техносигнулярности" в классическом понимании. Там же возможно, появления "прекрасного и ужасного" сверх-ИИ.
Особое внимание в документе корпорации создавшая "Клодов" уделено направлению "ИИ для исследований и разработок ИИ". В компании задаются вопросом, как уже сейчас(и возможно ли) отслеживать скорость развития искусственного интеллекта и какие сигналы могут заранее просигналить о зажигании "оня Сингулярности".
Для этого Anthropic предлагает развивать системы мониторинга, способные фиксировать изменения в поведении и возможностях моделей.
В Anthropic считают, что подобный сценарий может привести к непредсказуемым последствиям. Компания опасается появления скрытых ошибок, которые человек уже не сможет обнаружить, а также возникновения механизмов самосохранения, препятствующих отключению ИИ в случае их опасности.
Помимо этого, исследователи рассматривают и более широкие последствия распространения ИИ и начала "Сингулярности": влияние на рынок труда, устойчивость цифровой инфраструктуры, безопасность и использование ИИ в научных исследованиях.
Anthropic подчёркивает, что стремится не только запустить "интеллектуальный взрыв", но также, чтобы он был контролируемым и заранее готовить механизмы реагирования на потенциальные кризисы, которые могут быть связаны с взрывным прогрессом.